En el aprendizaje profundo (deep learning), el ajuste fino es un enfoque para transferir el aprendizaje en el que los pesos de un modelo previamente entrenado se entrenan en datos nuevos.[1] El ajuste fino se puede realizar en toda la red neuronal o solo en un subconjunto de sus capas, en cuyo caso las capas que no se ajustan se "congelan" (no se actualizan durante el paso de retropropagación ).[2] Un modelo también se puede aumentar con "adaptadores" que constan de muchos menos parámetros que el modelo original, y ajustarse de manera eficiente en los parámetros ajustando los pesos de los adaptadores y dejando el resto de los pesos del modelo congelados.[3]
Para algunas arquitecturas, como las redes neuronales convolucionales, es común mantener congeladas las capas anteriores (las más cercanas a la capa de entrada) porque capturan características de nivel inferior, mientras que las capas posteriores a menudo distinguen características de alto nivel que pueden estar más relacionadas con la tarea en la que se entrena al modelo.[2][4]
Los modelos que se entrenan previamente en corpus grandes y generales habitualmente se ajustan reutilizando los parámetros del modelo como punto de partida y agregando una capa específica de la tarea entrenada desde cero.[5] El ajuste fino del modelo completo también es común y, a menudo, produce mejores resultados, pero es más costoso desde el punto de vista computacional.[6]
El ajuste fino generalmente se logra con el aprendizaje supervisado, pero también existen técnicas para ajustar un modelo utilizando una supervisión débil.[7] El ajuste fino se puede combinar con un aprendizaje de refuerzo a partir del objetivo basado en la retroalimentación humana para producir modelos de lenguaje como ChatGPT (una versión mejorada de GPT-3 ) y Sparrow .[8][9]